A Two-Stage Robust Statistical Method for Temporal Registration from Features of Various Type

A model registration system capable of tracking an object, the model of which is known, in an image sequence is presented. It integrates tracking, pose determination and updating of the visible features. The heart of our system is the pose computation method, which handles various features (points, lines and free-form curves) in a very robust way. It consists in using robust estimators in a two-stage process: a robust residual is computed for each feature and a robust function of these residuals is minimized. Our method is therefore able to give a correct estimate of the pose even when tracking errors occur. This method is also used to update the set of model features along the sequence, by nding the 2D contours that are tracked when new 3D features become visible. The reliability of the system has been shown on a 300-image sequence of a bridge shot at dusk time, for an augmented reality project. Une m ethode statistique robuste a deux niveaux pour le recalage temporel a partir de primitives de type dii erent R esum e : Nous pr esentons un syst eme de recalage temporel 3D/ 2D, capable de suivre dans une s equence d'images un objet 3D dont le mod ele est connu. Il comporte le suivi des primitives, le calcul du point de vue et la mise a jour des primitives visibles. Le coeur de notre syst eme est la m ethode de calcul du point de vue, qui prend en compte de faa con tr es robuste des primitives de type dii erent (points, droites et courbes 3D non n ecessairement d eenies param etriquement). Cette m ethode consiste a utiliser des estimateurs robustes dans un processus a deux niveaux : un r esidu robuste est calcul e pour chaque primitive et une fonction robuste de ces r esidus est minimis ee. Notre m ethode est donc capable de donner une estimation correcte du point de vue m^ eme lorsque des erreurs de suivi se produisent. Elle est aussi utilis ee pour mettre a jour l'ensemble des primitives prises en compte sur toute la s equence, en d eterminant les contours 2D qui sont suivis lorsque de nouvelles primitives 3D apparaissent. Nous montrons la abilit e de notre syst eme dans le cadre d'un projet de r ealit e augment ee.